近年来见证了基于地点的社交网络(LBSN)服务的日益普及,这为构建个性化的兴趣点(POI)推荐系统提供了无与伦比的机会。现有的POI推荐和位置预测任务利用过去的信息来从单个方向角度使用过去的推荐或预测,而缺少的POI类别识别任务需要在缺少类别之前和之后使用检查信息。因此,长期存在的挑战是如何在移动用户的现实检查数据中有效地识别丢失的POI类别。为此,在本文中,我们提出了一种新的神经网络方法,通过整合双向全球非个人转换模式和用户的个人喜好来识别缺失的POI类别。具体而言,我们精致地设计了一个关注匹配的单元格,以模拟登记类别信息如何与他们的非个人转换模式和个人偏好匹配。最后,我们在两个现实世界数据集中评估我们的模型,与最先进的基线相比,这明确验证了其有效性。此外,我们的模型可以自然扩展,以解决具有竞争性能的下一个POI类别推荐和预测任务。
translated by 谷歌翻译
人类移动性数据从兴趣点累积(POI)Chee-Ins为用户行为理解提供了很大的机会。然而,实际移动数据中的数据质量问题(例如,地理位置信息丢失,虚幻的检查,数据稀疏)限制了现有的POI导向研究的有效性,例如POI推荐和位置预测,当应用于真实应用时。为此,在本文中,我们开发了一个名为BI-STDDP的模型,可以集成双向时空依赖和用户的动态偏好,以识别用户已经访问的缺失的POI登记入住,其中时间。具体地,我们首先利用POI的双向全局空间和局部时间信息来捕获复杂的依赖关系。然后,将与用户和POI信息组合的目标时间模式被馈送到多层网络中以捕获用户的动态偏好。此外,动态偏好被转换为与依赖关系相同的空间以形成最终模型。最后,在三个大规模的现实世界数据集中评估所提出的模型,结果表明,与最先进的方法相比,我们模型的显着改进。此外,值得注意的是,所提出的模型可以自然地扩展,以解决具有竞争性表现的POI推荐和位置预测任务。
translated by 谷歌翻译
在过去几年中,已经提出了多语言预训练的语言模型(PLMS)的激增,以实现许多交叉曲线下游任务的最先进的性能。但是,了解为什么多语言PLMS表现良好仍然是一个开放域。例如,目前尚不清楚多语言PLM是否揭示了不同语言的一致令牌归因。要解决此问题,请在本文中提出了令牌归因(CCTA)评估框架的交叉致新一致性。三个下游任务中的广泛实验表明,多语言PLMS为多语素同义词分配了显着不同的归因。此外,我们有以下观察结果:1)当它用于培训PLMS时,西班牙语在不同语言中实现了最常见的令牌归属;2)令牌归属的一致性与下游任务中的性能强烈相关。
translated by 谷歌翻译
我们通过纳入通用依赖性(UD)的句法特征来瞄准直接零射击设置中的跨语言机器阅读理解(MRC)的任务,以及我们使用的关键功能是每个句子中的语法关系。虽然以前的工作已经证明了有效的语法引导MRC模型,但我们建议采用句子际句法关系,除了基本的句子关系外,还可以进一步利用MRC任务的多句子输入中的句法依赖性。在我们的方法中,我们构建了句子间依赖图(ISDG)连接依赖树以形成横跨句子的全局句法关系。然后,我们提出了编码全局依赖关系图的ISDG编码器,通过明确地通过一个跳和多跳依赖性路径来解决句子间关系。三个多语言MRC数据集(XQUAD,MLQA,Tydiqa-Goldp)的实验表明,我们仅对英语培训的编码器能够在涵盖8种语言的所有14个测试集中提高零射性能,最高可达3.8 F1 / 5.2 EM平均改善,以及某些语言的5.2 F1 / 11.2 em。进一步的分析表明,改进可以归因于跨语言上一致的句法路径上的注意力。
translated by 谷歌翻译
顺序推荐是推荐系统的广泛流行的主题。现有的作品有助于提高基于各种方法的顺序推荐系统的预测能力,例如经常性网络和自我关注机制。然而,他们未能发现和区分项目之间的各种关系,这可能是激励用户行为的潜在因素。在本文中,我们提出了一个边缘增强的全面解散图神经网络(EGD-GNN)模型,以捕获全局项目表示和本地用户意图学习项目之间的关系信息。在全球级别,我们通过所有序列构建全局链接图来模拟项目关系。然后,频道感知的解缠绕学习层被设计成将边缘信息分解为不同的信道,这可以聚合以将目标项从其邻居表示。在本地层面,我们应用一个变化的自动编码器框架来学习用户在当前序列上的意图。我们在三个现实世界数据集中评估我们提出的方法。实验结果表明,我们的模型可以通过最先进的基线获得至关重要的改进,能够区分项目特征。
translated by 谷歌翻译
图表卷积网络(GCN)已广泛应用于推荐系统,以其在用户和项目嵌入物上的表示学习功能。然而,由于其递归消息传播机制,GCN容易受到现实世界中常见的噪声和不完整的图表。在文献中,一些工作建议在消息传播期间删除功能转换,但是使其无法有效地捕获图形结构特征。此外,它们在欧几里德空间中的用户和项目模拟了欧几里德空间中的项目,该空间已经在建模复杂的图表时具有高失真,进一步降低了捕获图形结构特征并导致次优性能的能力。为此,在本文中,我们提出了一个简单而有效的四元数图卷积网络(QGCN)推荐模型。在所提出的模型中,我们利用超复杂的四元数空间来学习用户和项目表示,并进行功能转换,以提高性能和鲁棒性。具体来说,我们首先将所有用户和项目嵌入到四元数空间中。然后,我们将eMaterNion嵌入传播层与四元数特征转换介绍以执行消息传播。最后,我们将在每层生成的嵌入物结合在一起,平均汇集策略以获得最终嵌入的推荐。在三个公共基准数据集上进行了广泛的实验表明,我们提出的QGCN模型优于大幅度的基线方法。
translated by 谷歌翻译
伯特的预先接受的语言模型在广泛的自然语言处理任务中取得了巨大成功。然而,由于缺乏两个域知识,即短语级和产品级别,BERT不能很好地支持电子商务相关任务。一方面,许多电子商务任务需要准确地了解域短语,而这种细粒度的短语级知识没有通过BERT的训练目标明确建模。另一方面,产品级知识如产品关联可以增强电子商务的语言建模,但它们不是事实知识,从而不分青红皂白可以引入噪音。为了解决问题,我们提出了一个统一的训练框架,即E-BERT。具体地,为了保留短语级知识,我们引入自适应混合屏蔽,其允许模型基于两种模式的拟合进度自适应地切换到学习复杂短语的学习初步知识。为了利用产品级知识,我们引入了邻居产品重建,该重建将E-BERT列举,以预测产品的相关邻居,具有去噪的杂交层。我们的调查揭示了四个下游任务,即基于审查的问题回答,方面提取,宽度情绪分类和产品分类。
translated by 谷歌翻译
最近,从图像中提取的不同组件的低秩属性已经考虑在MAN Hypspectral图像去噪方法中。然而,这些方法通常将3D矩阵或1D向量展开,以利用现有信息,例如非识别空间自相似性(NSS)和全局光谱相关(GSC),其破坏了高光谱图像的内在结构相关性(HSI) )因此导致恢复质量差。此外,由于在HSI的原始高维空间中的矩阵和张量的矩阵和张量的参与,其中大多数受到重大计算负担问题。我们使用子空间表示和加权低级张量正则化(SWLRTR)进入模型中以消除高光谱图像中的混合噪声。具体地,为了在光谱频带中使用GSC,将噪声HSI投影到简化计算的低维子空间中。之后,引入加权的低级张量正则化术语以表征缩减图像子空间中的前导。此外,我们设计了一种基于交替最小化的算法来解决非耦合问题。模拟和实时数据集的实验表明,SWLRTR方法比定量和视觉上的其他高光谱去噪方法更好。
translated by 谷歌翻译
In this paper, we propose a robust 3D detector, named Cross Modal Transformer (CMT), for end-to-end 3D multi-modal detection. Without explicit view transformation, CMT takes the image and point clouds tokens as inputs and directly outputs accurate 3D bounding boxes. The spatial alignment of multi-modal tokens is performed implicitly, by encoding the 3D points into multi-modal features. The core design of CMT is quite simple while its performance is impressive. CMT obtains 73.0% NDS on nuScenes benchmark. Moreover, CMT has a strong robustness even if the LiDAR is missing. Code will be released at https://github.com/junjie18/CMT.
translated by 谷歌翻译
Dataset distillation has emerged as a prominent technique to improve data efficiency when training machine learning models. It encapsulates the knowledge from a large dataset into a smaller synthetic dataset. A model trained on this smaller distilled dataset can attain comparable performance to a model trained on the original training dataset. However, the existing dataset distillation techniques mainly aim at achieving the best trade-off between resource usage efficiency and model utility. The security risks stemming from them have not been explored. This study performs the first backdoor attack against the models trained on the data distilled by dataset distillation models in the image domain. Concretely, we inject triggers into the synthetic data during the distillation procedure rather than during the model training stage, where all previous attacks are performed. We propose two types of backdoor attacks, namely NAIVEATTACK and DOORPING. NAIVEATTACK simply adds triggers to the raw data at the initial distillation phase, while DOORPING iteratively updates the triggers during the entire distillation procedure. We conduct extensive evaluations on multiple datasets, architectures, and dataset distillation techniques. Empirical evaluation shows that NAIVEATTACK achieves decent attack success rate (ASR) scores in some cases, while DOORPING reaches higher ASR scores (close to 1.0) in all cases. Furthermore, we conduct a comprehensive ablation study to analyze the factors that may affect the attack performance. Finally, we evaluate multiple defense mechanisms against our backdoor attacks and show that our attacks can practically circumvent these defense mechanisms.
translated by 谷歌翻译